생각을 빼앗긴 세계
🔖 터클은 AI가 엔지니어링의 거창한 목표가 아니라, 하나의 이데올로기라고 결론지었다. 생각을 프로그래밍할 수 있다는 이론을 가진 AI는 “세상의 거의 모든 것을 이해할 수 있는 새로운 방법”이라는 면에서 정신분석학이나 마르크시즘에 비견된다는 것이다. “개별 이데올로기는 핵심 개념이 세상을 이해하는 새로운 방법을 재구성한다. 프로이트주의자들에게는 이 개념이 ‘무의식’이고, 마르크스주의자들에게는 ‘생산수단과의 관계’이다. AI 연구자들에게 있어서 프로그래밍이라는 아이디어는 초월적인 가치를 갖고 있다. 그들은 AI를 지금껏 찾지 못했던 열쇠, 즉 지능이라는 미스테리의 실마리가 되는 열쇠로 보았다.”
🔖 알고리듬이 얼마나 쉬지 않고 패턴을 찾는지를 설명할 때 컴퓨터 과학자들이 하는 유명한 말이 있다. 데이터를 고문해서 알고 있는 걸 털어놓게 한다는 것이다. 하지만 이 비유에는 확인되지 않은 암시가 숨어 있다. 실제 고문 피해자와 마찬가지로, 데이터 역시 취조하는 사람이 듣고 싶어하는 말을 하게 된다는 것이다.
알고리듬은 때로 만든 사람의 무의식을 반영한다. 극단적인 예를 들어보자. 하버드 대학의 교수인 라타냐 스위니는 연구를 통해 구글의 광고가 미국 흑인들 사이에 흔한 이름을 가진 사용자에게 전과 기록을 말소해주는 서비스 광고를 한다는 사실을 밝혀냈다. 구글은 왜 그런 결과가 나오는지 밝히지 않고 있다. 구글의 알고리듬은 그들이 철저하게 지키는 비밀이다. 하지만 우리는 구글이 자신들이 중요하게 생각하는 가치를 반영하도록 검색엔진을 만들었다는 사실을 알고 있다. 구글은 웹사이트의 인기도가 유용성을 잘 나타낸다고 생각한다. 구글은 검색 결과에서 포르노 사이트는 배제하지만 반유대주의 음모론자들의 사이트는 배제하지 않으며, 오래되고 좋은 콘텐츠보다는 최신 기사가 사용자들에게 더 유용하다고 생각한다. 이런 선택은 타당한 선택이자 사업적으로 현명한 결정인 것은 분명하지만, 어디까지나 선택이지 과학이 아니다.
경제학과 마찬가지로 컴퓨터과학도 선호하는 모델이 존재하고, 세상에 대한 암묵적인 가정을 가지고 있다. 프로그래머들이 알고리듬적인 사고를 배울 때는 효율성을 가장 중요하게 생각하라고 배운다. 그렇게 가르치는 이유는 충분히 이해할 만하다. 단계가 지나치게 많은 알고리듬은 컴퓨터를 느리게 만들고 서버를 무용하게 만들기 때문이다. 하지만 효율성 역시 하나의 가치다. 속도를 높인다는 것은 필요에 따라 절차를 생략하고 일반화를 한다는 뜻이다.
알고리듬은 논리적 사고의 아름다운 표현이며, 편리함과 놀라움의 원천이다. 잘 알려지지 않은 19세기 책을 어디서 구할 수 있는지 눈 깜짝할 사이에 찾아내고, 오랫동안 만나지 못한 초등학교 친구와 연락이 닿게 해주고, 원하는 상품이 매장에서 집까지 광속으로 배달되도록 도와주기도 한다. 오래지 않아 알고리듬은 자율주행 차량을 안내할 것이고, 몸 안에서 자라는 암세포를 정확하게 찾아낼 것이다. 하지만 이런 일들을 하기 위해서 알고리듬은 끊임없이 우리를 측정하고 우리를 대신해서 결정을 내린다. 문제는 우리가 사고를 기계에 아웃소싱하면, 사실은 그 기계를 운영하는 기업에게 아웃소싱하는 거라는 점이다.
🔖 자기들이 주장하는 가치를 내면화하지(아니, 어쩌면 이해하지도) 못하는 일은 이런 테크 기업들 사이에 만연해 있다. 미국의 민주주의는 충분히 근거 있는 공포감, 즉 권력이 하나의 기관에 쏠리면서 나머지 모든 사람들이 피해를 볼 수 있다는 불안감 위에 세워졌다. 테크 기업들은 그런 공포감을 갖고 있지 않다. 그들은 우리 삶에 더 깊숙이 개입할수록 더 좋다고 생각하며, 거기에는 아무런 제한도 없다. 물론 그 기업들이 자신의 힘을 걱정할 리는 없다. 그런 걱정은 우리의 몫이므로, 우리가 문제를 명확하게 인식해야 한다. 민주주의에 관심이 없는 기업들이 우리의 민주주의에서 지나치게 큰 역할을 차지하고 있다는 것이 우리가 직면한 문제이다.
🔖 문제는 미디어가 단순히 실리콘밸리의 기업들에 의존하는 데에 그치지 않고, 실리콘밸리의 가치에 의존한다는 점이다. 테크 기업들과 똑같이, 언론은 맹목적으로 데이터를 숭배하게 되었다. 그리고 숭배의 대상이 된 데이터는 언론을 변질시켰다. (...) 풍부한 데이터는 저널리즘의 특성 자체를 바꾸었다. 저널리즘은 마케팅하고 테스트하고 다시 수정해야 하는 상품으로 변해버렸다. 어쩌면 미디어는 언제나 이런 식으로 생각을 해왔을 것이다. 그렇지만 이런 충동이 언제나 존재했다고는 해도 최소한의 완충장치가 있었다.
🔖 워즈워스가 저작권을 옹호한 것은 그렇게 하는 것이 자신에게 이익이었고 자신을 돋보이게 할 수 있었기 때문일 수 있다. 새삼 놀랄 일은 아니다. 오만하지 않고는 독창적일 수 없다. 새로운 아이디어를 떠올릴 수 있다거나 새로운 형식을 만들어낼 수 있다고 하는 생각은 사실 자만심 가득한 믿음이다. 우리가 애써 독창성에 높은 지위를 부여하지 않으면, 문화는 흔하고 진부한 쪽으로 흐르게 되어 있다. 새로운 사상을 만들어내는 일에는 위험 부담이 따른다. 새로운 사상은 흔히 실패하기 때문이다. 문화는 이미 정해진 공식을 따르면서 항상 스스로를 반복하려 한다. 가장 손쉽게 돈을 벌고 인기를 얻으려면 이전에 효과가 검증된 것을 재탕하면 되기 때문이다. 천재란 것은 어느 정도 허풍일 수도 있지만, 그런 허풍은 문화적으로 중요하다. 실리콘밸리가 이해하기 쉬운 말로 설명해보자면, 천재라는 개념을 계속해서 사용해야 하는 이유는, 이 개념이 혁신을 낳기 때문이다. 하지만 실리콘밸리는 이 같은 분석을 결코 받아들일 수 없을 것이다. 그렇게 하면 자신들의 수익이 줄어들기 때문이다.
🔖 데이터를 살펴보면 사용자들을 이해할 수 있다. 말하자면 데이터는 정신의 초상화다. 에릭 슈미트는 “우리는 당신이 어디에 있는지, 그리고 어디에 있었는지 알고 있고, 무슨 생각을 하고 있는지도 어느 정도 짐작할 수 있습니다.”라고 자랑스레 얘기한 적이 있다. 정신의 초상화는 막강한 능력을 갖고 있다. 이것을 가진 기업들은 사람들의 행동을 예상하고 그들의 욕구를 예측할 수 있다. (...) 시장을 지배하는 테크 기업들은 사람들의 모습을 가장 완벽하게 묘사한 초상화를 대량으로 수집해서 저장하고 있다. 이런 면에서 데이터는 석유와 다르다. 석유는 제한된 자원이지만 데이터는 무한히 재생 가능하기 때문이다.
🔖 이는 자기 결정권의 문제이다. 우리의 데이터에 포함된 사적인 세부사항은 우리에게 불리한 용도로 사용될 수 있다. 데이터는 눈에 보이지 않는 차별을 할 수 있는 근거를 제공하고, 소비 습관이나 지적인 습관을 형성하는 선택에 영향을 주는 데에 사용된다. 데이터는 사용자의 영혼을 들여다볼 수 있는 엑스레이를 제공한다. 기업들은 사용자들의 내적 자아를 찍은 사진을 시장에서 거래될 수 있는 재화로 바꾸어 당사자들 모르게 사고판다. 이것은 굳이 설명이 필요없는 기본적인 권리로, 소중히 간직할 가치가 있다. 일반인들의 데이터를 소유하는 주체는, 그들을 은밀하게 추적하는 기업들이 아니라 일반인들 자신이어야 한다. 법은 이 기업들이 데이터를 아주 조심스럽게 다루도록 요구해야 한다. 데이터의 주인은 기업이 아니기 때문이다.
🔖 그러나 오랜 규제의 역사를 통해 배울 수 있는 것은 또 있다. 바로 이 작업이 반대하는 사람들이 주장하는 것만큼 헛된 노력이 아니라는 점이다. 정부가 효율성을 추구하도록 경제를 리모델링하려 했을 때는 성공과 실패가 뒤섞인 결과를 낳았던 반면, 정부가 분명한 도덕적 목적을 달성하기 위해 주어진 권력을 행사했을 경우에 결과는 확실히 성공적이었다. 물론 실패 사례가 없었던 것은 아니다. 이런 보호책으로 인해 민간 부분에 상당한 비용이 발생하기는 했지만, 궁극적으로 우리가 타는 자동차들은 더 안전해졌고, 우리가 사는 환경은 더 깨끗해졌고, 우리가 먹는 식품은 더 안전해졌고, 우리가 이용하는 금융 시스템은 더 공정해졌고, 대규모 경제 붕괴의 가능성은 더 낮아졌다. 하지만 이런 도덕적 비전은 베를린 장벽 붕괴 이후 나타난 자유방임주의의 열기에 휩쓸려 우리 기억 속에서 사라져갔다. 인터넷은 분명 놀랍지만 그것이 마치 역사와 무관하게 존재하거나 우리 사회의 도덕적 판단에서 예외라도 되는 것처럼 취급해서는 안 된다. 개인의 주체성과 건강한 민주주의를 지키기 원한다면 더욱 그렇다.
🔖 자기 자신을 “교양 있는(cultured)” 사람이라고 부르는 것은 자신이 우월하다고 주장하는 것이다. 피에르 부르디외는 사람들의 그런 태도를 (다소 지나치게) 지적하는 일을 자신의 학문적 커리어로 삼은 사람이다. (...) 그는 일단 그렇게 지식인 그룹에 받아들여진 후에는 지식인들을 비난했다. 그는 지배 계층이 사회적으로 용인되는 것과 그렇지 않은 것에 관한 규칙을 정하고 강요한다고 주장했다. 그들은 훌륭한 예술, 훌륭한 음식, 훌륭한 책을 정의하며, 이를 설명하는 배타적 어휘를 만들어낸다. 그는 “취향은 분류하고, 분류하는 사람까지도 분류한다.”라는 유명한 말을 남겼다.
🔖 중세 초기만 해도 책은 말 그대로 기적이었다. 그것은 사제가 신의 말씀을 전달하는 수단이었다. 당시 글을 읽고 쓰는 것은 희귀한 능력이었고, (...) 모든 “읽기”는 소리내어 읽기였다. 소리 없이 읽기(묵독)는 아주 드물었다. (....) 새로운 통사 규칙의 등장으로 글을 읽는 데 들어가는 노력이 줄어들면서 사람들은 더 쉽게 접근할 수 있게 되었다. 이러한 변화들이 완전히 정착되어 대중이 소리 없는 묵독을 할 수 있게 되기까지는 그로부터 수백년이 걸렸다. 이는 인류 역사상 가장 엄청난 변화 중 하나였다. 읽기는 더 이상 수동적이고 집단적인 경험이 아닌, 능동적이고 사적인 경험이 되었다. 묵독은 사고 자체를 바꾸었고, 그에 따라 개인이 전면에 나서게 되었다. 개인 침실에서 읽든 도서관에서 읽든, 혼자서 책을 읽을 때면 주류에서 벗어난(사회가 용납하지 않는) 생각을 할 만한 여지가 생겼다. 피셔는 이런 변화를 다음과 같이 설명했다. “이로써 독자가 행동의 주체가 되었으며, 저자는 이제 보이지도, 소리를 내지도 않는 독자에게 다양한 길을 보여주는 안내자일 뿐이었다. (...) 구어의 속박에서 벗어나려는 여러 세대에 걸친 노력 끝에, 많은 독자들이 비로소 토마스 아 켐피스가 <그리스도를 본받아>에서 했던 것과 같은 고백을 할 수 있게 되었다. ‘나는 행복을 찾아 온 세상을 헤매었으나, 다른 데가 아닌 작은 책의 작은 한 귀퉁이에서 행복을 찾았도다.’”
🔖 대화가 지닌 창조적인 힘, 주위 사람들로부터 겸손하게 배울 때 얻게 되는 지적 잠재력, 그리고 집단이 문제 해결을 위해 협력해야 할 필요성에 대해서는 의심할 여지가 없다. 하지만 이들 중 그 어떤 것도 사색이나 혼자만의 시간을 대체해서는 안 된다. 그런 시간이 있어야 사람들은 비로소 독자적인 사고를 통해 자신만의 결론에 도달할 수 있게 된다.
우리가 글을 읽을 때 외딴 귀퉁이, 침대, 욕조, 개인용 서재 같은 곳을 찾는 이유는 이런 곳들이 사색하기에 가장 좋다고 느끼기 때문이다. (...) 독서에 깊고 온전하게 몰두하면, 우리는 외부 세계를 차단하는 무아지경에 빠진다. 책장에 쓰인 글과 머릿속에서 빠르게 지나가는 추상적 사고 사이에서 간극이 사라진다. 묵독을 시작한 첫 세대가 경험한 것처럼 사회에서 금기시하는 생각도 자유롭게 떠올랐다 사라지고, 우리는 지적인 금기에서 벗어난다. 우리가 습관적으로 책을 들고 혼자만의 공간으로 들어가는 이유가 바로 그 때문이다. 개인 공간에서는 사회적 관습에 대해 걱정할 필요도 없고, 바깥 세상이 어깨 너머로 우리가 읽는 걸 훔쳐보지도 않는다. 테크 기업들이 우리로 하여금 종이책을 포기하게 하려고 있는 힘을 다하고 있음에도 불구하고 우리가 종이책을 포기할 수 없는 이유가 그것이다.
테크 기업들이 인류의 모든 것을 남기없이 흡수해 버리려고 해도, 종이책 읽기는 그들이 완전히 손에 넣을 수 없는 몇 남지 않은 영역이다. 테크 기업들은 이를 앞으로 해결될 공학적인 난제 정도로 생각할 것이다. 그들을 제외한 우리 모두는 종이가 제공하는 보호구역으로 주기적으로 피신해야 한다. 이 보호구역은 끊임없이 침투해오는 시스템을 피해 휴식을 얻을 수 있는 곳이며, 우리가 의식적으로 거주해야 하는 낙원이다.